Phủ được xây dựng thời Lê, đến năm 1989 được xây dựng lại như ngày nay. Phủ có diện tích 5.000 mét vuông. Phủ Đồi Ngang có ba ngôi nhà đứng độc lập. Trong phủ có 5 toà nhà gồm ba gian nhà ngang, động Sơn Trang, 1 gian thờ Cậu bé Đồi Ngang.Đầu tiên là Bái đường, tiếp theo là toà thờ tứ vị chầu Bà và cung cấm thờ tượng Công chúa Liễu Hạnh. Toàn phủ đều quay về hướng Đông, thẳng hướng về chùa Bái Đính và cố đô Hoa Lư.